Giám mục Phạm Văn Nẫm sinh ngày 17 tháng 9 năm 1919 tại làng An Bình, tỉnh Kiến Phong (nay thuộc xã An Bình, huyện Cao Lãnh, tỉnh Đồng Tháp) theo bia mộ, không phải thành phố Sài Gòn như các trang web dẫn[20][21]. Bản thân Giám mục Nẫm mãi cho đến năm 16 tuổi mới lãnh nhận Bí tích Rửa Tội ngày 31 tháng 1 năm 1934. Sau này, cả gia đình ông đều được rửa tội và theo đạo Công giáo. Mộ phận thân sinh ông được xây cất tại làng An Bình.

Con đường tu học của Giám mục Nẫm khởi nguồn từ năm 1938, khi ông nhập học Chủng viện Sài Gòn và được cử đi du học tại Chủng viện Penang, Malaysia. Sau khi dừng việc tu học năm 1945 tại Malaysia, chủng sinh Louis nhập học tại Đại Chủng viện Cái Nhum, Vĩnh Long và học tại đây cho đến năm 1948.